基于互信息特征解耦的情感一致性语音转换方法

李渡渡^1,2   王少荣^1,2   甄怡宁^1,2   王春玲^1,2*

¹北京林业大学信息学院
²国家林业草原林业智能信息处理工程技术研究中心

TL;DR提出ECVC模型，通过vCLUB互信息最小化解耦内容、说话人、音高和情感四元特征，并引入情感一致性损失，实现情感保留的高质量语音转换

现有基于VITS的语音转换模型仅解耦内容和说话人信息，忽略了音高和情感等非语言信息，导致转换语音情感泄漏。本文提出ECVC模型，采用vCLUB衡量并最小化风格/情感特征与其他特征间的互信息，实现内容、说话人身份、音高和情感四元特征的充分解耦。同时在联合训练的情感编码器中引入情感一致性损失，提高转换语音与源语音的情感相似度。

通过vCLUB互信息最小化将内容、说话人、音高和情感四元特征相互解耦，消除特征间泄漏；在情感编码器中引入情感一致性损失（L1距离），惩罚源语音与转换语音情感特征差异，确保转换语音保留源说话人情感信息而非目标说话人情感。

ECVC在FreeVC基础上改进：使用联合训练的情感编码器并引入情感一致性损失，同时使用互信息最小化解耦语音特征，还引入预训练F0编码器保持音高信息。说话人编码器和内容编码器遵循FreeVC，后验编码器、解码器和鉴别器遵循VITS。

情感编码器直接从语音中获取潜在情感特征，采用vCLUB互信息作为相关度量减少情感特征与其他特征依赖性。情感一致性损失在模型具备基本语音合成能力后引入，最小化源语音与转换语音情感特征的L1距离。

全局互信息最小化扩展了VQMIVC的说话人MI损失，将内容特征Z_c、说话人特征Z_s、音高特征Z_p和情感特征Z_e全部纳入互信息最小化框架。由于情感与说话人解纠缠较复杂，设置lambda_2=2*lambda_1增强解耦效果。

在ESD数据集上，ECVC在五种情感（Angry/Happy/Neutral/Sad/Surprise）的客观评测中Embedding MAE均显著优于FreeVC和Emo-StarGAN。F0-PCC在所有情感上均高于基线，验证了音高保留能力。主观评测中SMOS(4.03)、EMOS(4.05)和N-MOS(4.25)均为最优。消融实验表明情感一致性损失对情感保存贡献最大。

Qualitative Results

互信息最小化是解耦语音中纠缠特征的有效手段。vCLUB提供无偏的互信息估计，结合情感一致性损失可在保持说话人相似度的同时显著提升情感保留率。显式建模情感特征并约束其与说话人特征的正交性，是解决语音转换中情感泄漏问题的核心策略。